Experimentos científicos de próxima geração coletarão mais dados do que nunca – tantos que ultrapassarão as capacidades dos métodos atuais de armazenamento e análise de dados. Para ajudar, pesquisadores do Laboratório Nacional de Aceleradores SLAC, do Departamento de Energia dos EUA, desenvolveram um método para usar inteligência artificial para comprimir grandes quantidades de dados brutos sem perder detalhes sutis cruciais para a descoberta científica. Eles publicaram o trabalho na revista Nature Machine Intelligence .

“Haverá uma avalanche de dados tão grande que realmente não há como lidar com ela da maneira como fazíamos antes”, disse Joshua Turner , cientista líder do SLAC e do Instituto de Ciências de Materiais e Energia de Stanford , um instituto conjunto entre o SLAC e Stanford, e investigador principal deste trabalho. “Existem muitas aplicações na ciência atualmente em que a velocidade de armazenamento e análise de dados são problemas realmente importantes, e acho que este método é uma maneira inteligente de resolvê-los.”

O método pode ser útil para dados provenientes da Fonte de Luz Coerente Linear (LCLS) do SLAC, um laser de elétrons livres de raios X ultrarrápido que, eventualmente, gerará até um milhão de pulsos de raios X por segundo para capturar "instantâneos" de átomos e moléculas. Quase um terabyte de dados por segundo exige novos tipos de processamento necessários para instrumentos que utilizam todas as capacidades da LCLS, como o instrumento de espectroscopia de flutuação de fótons de raios X (XPFS), que estudará os movimentos de partículas em materiais topológicos e quânticos exóticos.

Os métodos convencionais de compressão de dados podem apagar alguns detalhes importantes nas medições, que correspondem a informações científicas valiosas. Por exemplo, os minúsculos pontos nas imagens de raios X de moléculas podem conter informações importantes sobre como os materiais se transformam.

“Essas manchas muitas vezes refletem a organização, a desordem ou a dinâmica subjacentes de um material”, disse Yuan Ni, pesquisador associado do SLAC e principal autor do estudo. “Se as perdermos, perderemos informações científicas únicas, como a forma como um material é estruturado e como isso muda ao longo do tempo.”

O método baseado em IA utiliza redes neurais para comprimir dados, reduzindo o tamanho total do arquivo e facilitando o armazenamento, a transferência e o gerenciamento, ao mesmo tempo que permite aos usuários controlar quais informações são mantidas, como os detalhes mais minuciosos. "Dependendo dos dados subjacentes e da qualidade/fidelidade desejada, normalmente conseguimos reduções de 10 a 100 vezes no tamanho do arquivo", disse Ni.

A equipe testou o método em vários tipos de dados, incluindo medições de moléculas e materiais obtidas por diversas técnicas experimentais, medições do campo magnético solar e fotografias. Eles descobriram que a rede neural era capaz de se adaptar a diferentes tipos de dados, aprendendo quais características eram importantes para diferentes medições.

Ao contrário da compressão tradicional, este método baseado em IA não comprime todo o conjunto de dados igualmente. Primeiro, utiliza uma ferramenta matemática, conhecida como análise wavelet, para separar as características dos dados por escala. Em seguida, a rede neural comprime as características em diferentes escalas separadamente, garantindo que as características mais sutis não sejam perdidas pela compressão generalizada. A rede neural aprende uma representação compacta dessas características para preservá-las.

Além de reduzir o custo de armazenamento e gerenciamento de grandes conjuntos de dados, o método facilita a recuperação de dados. Às vezes, os pesquisadores desejam revisitar uma pequena parte dos dados compactados. Com esse método, eles podem descompactar apenas os dados desejados, economizando tempo e dinheiro.

“Se você estiver usando um compressor convencional, precisará descompactar o arquivo inteiro, o que pode levar minutos, horas ou dias”, disse Zhantao Chen, professor assistente da Universidade do Texas em Austin, que trabalhou nesse método enquanto era pesquisador associado do SLAC. “Este método consegue descompactar apenas a região de interesse, em vez de todo o conjunto de dados, sendo, portanto, muito mais eficiente.”

Essa nova abordagem de compressão de dados pode operar em conjunto com técnicas mais abrangentes de redução de dados, como a seleção apenas dos eventos e recursos de interesse, observaram os pesquisadores. "Em vez de substituir os métodos de compressão existentes", disse Ni, "nosso trabalho fornece uma abordagem adicional baseada em IA".